Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1357-1366.

1. Overview

现实生活中的雨滴具有以下特性

远处的雨滴堆积产生类似于雾的大气遮盖物，散射光线，导致可见度降低
近处的雨滴产生镜面反射，遮挡背景
雨滴具有不同形状和方向. 尤其是大雨，可见度很低

现有的方法存在一些不足之处

雨滴与背景纹理存在重叠，去雨导致over-smoothing the regions
雨滴的退化效果很复杂，现有方法不能充分包含所有重要的因素
基于local patch或有限receptivefield

因此，论文

对雨滴进行建模
创建数据集Rain100H
并在此基础上提出multi-task深度学习框架

1.1. Contribution

First method to model rain-streak binary mask, atmosphere veils and various shapes and directions of overlapping rain streaks
First method to jointly detect and remove rains
First rain method to use contextualized dilated network
First method use recurrent to address heavy rain

1.2. 相关工作

Sparse coding. Learned dictionary
Low rank
Non-local mean filter
Discriminative sparse coding
GMM
Denoising, complement, super-resolution, deblurring, deconvolution, style tansfer, dehazing, light enhancement.

1.3. 数据集

数据集中的图片选择BSD200

Rain12, Rain100L. one type of rain streak
Rain100H (论文提出). five type of rain streak，虽然现实生活中很少同时存在多种类型的rain streak. 但这样的训练数据能够提升网络性能

d. simulated sharp line streaks along a certain direction with a small variation

2. Rain Image Model

2.1. Widely Used Model

此前的一些工作用

表示rain image model. 将rain removal转化为分离两个信号问题.

O. Input image or Observe image
B. Background layer
S. rain streak layer
但该模型存在缺陷
不同region中的S具有不同的密度，无法使用统一的S表示
没有区分rain region和no-rain region，造成no-rain region过度平滑

2.2. Region-dependent Model

R为binary mask. 1表示rain region. 0表示no-rain region.

公式表明

提供额外gt (rain streak region)给神经网络模型. Multi-task
pipeline. 检测rain region, 对rain region和no-rain region进行不同的处理

2.3. Rain Accumulation Model

雨滴存在堆积的情况，并形成类似与雾的视觉效果。

Koschmieder模型适用于近似多种浓密的介质，如雾、水下等。因此，可将模型表示为

t. rain-streak layer index
s. rain-streak layer number
A. global atmosphere light
α. atmosphere transmission

公式表明：可独立处理rain removal和rain accumulation

3. Architecture

3.1. Joint Rain Streak Detection and Removal (JORDER)

结构

通过Contextualized Dilated Network提取特征F
基于F预测R
基于[F, R]预测S
基于[F, R, S]预测SR
B = O - SR
Recurrent
也可采用其他的策略：并行预测等。

3.2. Contextualized Dilated Network

分支一：Conv 3x3 1 dilate, Conv 3x3 1 dilate, 感知域5x5
分支二：Conv 3x3 2 dilate, Conv 3x3 2 dilate, 感知域9x9
分支三：Conv 3x3 3 dilate, Conv 3x3 3 dilate, 感知域13x13

3.3. Loss Function

3.4. Recurrent

每次迭代的过程
最终生成图片

τ为迭代次数

Loss Function

3.5. Rain-Accumulation Removal

虽然公式3表明，首先应做rain-accumulation removal. 但会增强图片中sharp, visible rain streak，导致与数据集中的rain streak不同。因此，论文的处理过程为

streak removal
rain-accumulation removal
streak removal

Accumulation removal网络

Create another network based on the structure of contextualized dilated network, with only one recurrence
Trained with the synthesized data generated with the random background reliance and transmission value

4. Experiments

4.1. Baseline

JORDER-. 只有一条分支，不使用dilated convolutions
JORDER.
JORDER-R.
JORDER-R-DEVEIL.
Image Decomposition (ID)
CNN
DSC
Layer Prior (LP)
SRCNN

(CVPR 2017) Deep joint rain detection and removal from a single image